Brolin dilahirkan di Santa Monica, California, anak lelaki Jane Cameron (Agee), aktivis hidupan liar yang berasal dari Corpus Christi, Texas, dan pelakon James Brolin.[4][5] Brolin dibesarkan di sebuah ladang di Templeton, California,[6] dengan sedikit pendedahan kepada kerjaya lakonan bapanya.[7] Ibu bapanya bercerai ketika beliau berumur 16 tahun. Pada tahun 1998 bapanya berkahwin dengan isterinya ketiga, penyanyi/pelakon Barbra Streisand.[8] Brolin berminat dengan bidang lakonan selepas menghadiri kelas akademik yang bertambah baik di sekolah menengah.[7]

Brolin menerangkan dalam wawancara pada tahun 2014 bahawa pada masa remaja, beliau merupakan ahli kumpulan persahabatan melayari yang menyebut diri mereka sebagai "Cito Rats". Dalam penerangan tentang kumpulan itu, beliau menyatakan: "Santa Barbara adalah 80-an, punk rock, anda mempunyai anak-anak orang kaya, ibu bapa yang tidak bertanggungjawab atau anak-anak miskin, ibu bapa yang mengabaikannya, jadi itu merupakan campuran. Tetapi kita pada dasarnya membesar dengan cara yang sama. Saya tidak pernah melihat kumpulan seperti itu sebelum atau sejak." Beliau mengakui untuk mencuri kereta untuk membayar tabiat penagihan dadahnya, termasuk heroin, dadah yang beliau menjelaskan tidak suka:" Maksud saya, saya tidak pernah masuk di dalamnya dan saya tidak pernah mati daripadanya, yang merupakan perkara yang baik." Majoriti rakan-rakan yang membesar dengannya mati, beliau mengesahkan jumlah kematian sebanyak 24.[9]